Các động vật có vòi (Proboscidea) sớm nhất đã biết, nhánh chứa các loài voi, đã tồn tại khoảng 55 triệu năm trước (Ma) trong khu vực ven biển Tethys. Các họ hàng gần nhất của Proboscidea là bò biển và đa man (đề thỏ). Họ Elephantidae được biết là đã tồn tại khoảng 6 Ma tại châu Phi, và bao gồm các loài voi còn sinh tồn cũng như voi ma mút. Trong số nhiều nhánh hiện nay đã tuyệt chủng thì voi răng mấu (Mammut) chỉ là họ hàng xa của voi ma mút và là một bộ phận của họ Mammutidae tách biệt đã tách ra khoảng 25 Ma trước khi voi ma mút tiến hóa.[1]

Biểu đồ sau chỉ ra vị trí của chi Mammuthus trong số các loài động vật có vòi, dựa theo các đặc trưng xương móng:[2]

Do nhiều di cốt của các loài voi ma mút được tìm thấy tại nhiều nơi, nên người ta có thể phục dựng lịch sử tiến hóa của chi voi này thông qua các nghiên cứu hình thái. Các loài voi ma mút có thể được nhận dạng từ một số các gờ men răng trên răng hàm của chúng; các loài nguyên thủy có ít gờ, và số lượng gờ dần dần tăng lên khi các loài mới tiến hóa và thay thế các loài cũ. Cùng lúc đó, các chỏm răng cũng trở nên dài hơn, và hộp sọ thì cao hơn khi xét kích thước từ đỉnh đầu xuống đáy và ngắn hơn khi xét kích thước từ gáy tới trán theo thời gian để tích lũy điều này. Các thành viên đầu tiên đã được biết đến của chi Mammuthus có lẽ là các loài châu Phi là M. subplanifrons sinh sống trong thế Pliocen và M. africanavus sinh sống trong thế Pleistocen. Loài thứ nhất được cho là tổ tiên của loài thứ hai. Voi ma mút tiến vào châu Âu khoảng 3 Ma với loài sớm nhất đã biết là M. rumanus, với phạm vi sinh sống trải rộng khấu châu Âu cho tới Trung Quốc. Người ta chỉ biết các răng hàm của chúng, với 8-10 gờ men răng. Một quần thể đã tiến hóa đạt tới 12-14 gờ men răng; chia tách khỏi và thay thế cho loài sớm hơn, trở thành M. meridionalis. Kế tiếp theo, nó bị thay thế bởi voi ma mút thảo nguyên (M. trogontherii) với 18-20 gờ men răng, là loài đã tiến hóa ở Đông Á khoảng 1 Ma. Các loài voi ma mút phát sinh từ M. trogontherii đã tiến hóa răng hàm với 26 gờ men răng vào khoảng 0,2 Ma tại Xibia, và trở thành voi ma mút lông xoăn (Mammuthus primigenius).[3] Voi ma mút Columbia (Mammuthus columbi) cũng tiến hóa từ một quần thể M. trogontherii đã tiến vào Bắc Mỹ. Một nghiên cứu di truyền năm 2011 chỉ ra rằng hai mẫu vật được kiểm tra của voi ma mút Columbia được gộp trong phạm vi của phân nhánh chứa voi ma mút lông xoăn. Điều này gợi ý rằng hai quần thể đã lai ghép với nhau và sinh ra con có khả năng sinh sản. Nó cũng gợi ý rằng dạng voi ma mút Bắc Mỹ được biết đến như là "Mammuthus jeffersonii" có thể chỉ là con lai của 2 loài nói trên.[4]

Từ 3,0 Ma cho tới cuối thế Pleistocen, voi ma mút tại đại lục Á-Âu đã trải qua một sự biến đổi lớn, bao gồm sự co ngắn và nâng cao hộp sọ và hàm dưới, tăng chỉ số dài răng ở răng hàm, tăng số lượng gờ và sự mỏng dần của men răng. Do thay đổi mạnh mẽ này ở bề ngoài, người ta chia voi ma mút châu Âu thành các cụm có thể phân biệt được như sau:

• Tiền Pleistocen: Mammuthus meridionalis
• Trung Pleistocen: Mammuthus trogontherii
• Hậu Pleistocen: Mammuthus primigenius

Có sự suy đoán về việc các biến đổi này đã xảy ra như thế nào ở 3 thời loài này. Các sai lệch về môi trường, thay đổi khí hậu và di cư cũng có vai trò trong quá trình tiến hóa của voi ma mút. Chẳng hạn, lấy ví dụ về M. primigenius, trong cuộc đời chúng, loài voi ma mút lông xoăn này có lẽ đã sinh sống trong các quần xã sinh vật đồng cỏ thưa. Môi trường thảo nguyên-lãnh nguyên lạnh ở Bắc bán cầu là lý tưởng để voi ma mút phát triển thịnh vượng do các nguồn thức ăn nó cung cấp. Với các đợt ấm lên trong thời kỳ băng hà thì khí hậu cũng sẽ thay đổi cảnh quan và những gì sẵn có cho voi ma mút bị thay đổi mạnh mẽ.[3][5][6]